Presto在滴滴的探索与实践

Presto

在滴滴的探索与实践

文章作者：

armsword 

滴滴研发工程师

内容来源：滴滴技术

序曲：

Presto

在滴滴内部发展三年，已经成为滴滴内部

Ad-Hoc

和

Hive 

SQL

加速的首选引擎。目前服务

6K+

用户，每天读取

2PB 

~ 

3PB HDFS

数据，处理

30

万亿

~35

万亿条记录，为了承接业务及丰富

使用场景，滴滴

Presto

需要解决稳定性、易用性、性能、成本等诸多

问题。我们在

3

年多的时间里，做了大量优化和二次开发，积攒了非

常丰富的经验。本文分享了滴滴对

Presto

引擎的改进和优化，同时也

提供了大量稳定性建设经验。

01 

Presto

简介

1. 

简介

Presto

是

Facebook

开源的

MPP

（

Massive 

Parallel 

Processing

）

SQL

引擎，其理念来源于一个叫

Volcano

的并行数据库，

该数据库提出了一个并行执行

SQL

的模型，它被设计为用来专门进行

高速、实时的数据分析。

Presto

是一个

SQL

计算引擎，分离计算层和

存储层，其不存储数据，通过

Connector 

SPI